PyTorch教程（九）：损失函数与Loss的梯度

MSE基本形式： l o s s = ∑ [ y − ( x w + b ) ] 2 loss = \sum[y-(xw+b)]^2 loss=∑[y−(xw+b)]2 这里的模型使用非常简单的线性感知机，如果使用其他的网络，则修改为 l o s s = ∑ [ y − f ( x ; w , b ) ] 2 loss = \sum[y-f(x;w,b)]^2 loss=∑[y−f(x;w,b)]2

需要注意的是，这里的均方差MSE和L2-norm是有区别的： l 2 − n o r m = ∑ ( y 1 − y 2 ) 2 l2-norm=\sqrt{\sum{(y_1-y_2)^2}} l2−norm=∑(y1​−y2​)2 ​ PyTorch在MSE中的使用：torch.norm(y-y',2).pow(2)

l o s s = ∑ [ y − f θ ( x ) ] 2 ∇ l o s s ∇ θ = 2 ∑ [ y − f θ ( x ) ] ∗ ∇ f θ ( x ) ∇ θ loss = \sum[y-f_\theta(x)]^2 \\ \frac{\nabla loss}{\nabla \theta} = 2\sum[y-f_\theta(x)]*\frac{\nabla f_\theta(x)}{\nabla \theta} loss=∑[y−fθ​(x)]2∇θ∇loss​=2∑[y−fθ​(x)]∗∇θ∇fθ​(x)​ 因此，如果使用简单的线性回归，那么 f ( x ) = w x + b f(x)=wx+b f(x)=wx+b,那么对于 ∇ f θ ( x ) ∇ θ \frac{\nabla f_\theta(x)}{\nabla \theta} ∇θ∇fθ​(x)​则为(x,1)

返回结果是list的方式：[w1 grad, w2 grad, w3 grad .....] 这里使用最简单的线性模型 y = w x y=wx y=wx

l o s s = ( 1 − 1 ∗ 2 ) 2 ∂ l o s s ∂ w = 2 ∗ ( 1 − 2 ) ∗ ( − 1 ) ∂ l o s s ∂ w = 2 loss = (1-1*2)^2 \\ \frac{\partial loss}{\partial w} = 2 * (1-2)*(-1)\frac{\partial loss}{\partial w} = 2 loss=(1−1∗2)2∂w∂loss​=2∗(1−2)∗(−1)∂w∂loss​=2 设置w的梯度还可以通过在初始化时进行设置，w = torch.tensor([1],requires_grad=True)

不会额外返回结果，而是直接附加在每个成员变量上，结果是：w1.grad，w2.grad… 除了使用torch.autograd.grad(mse,[w])方式求导外，还可以使用：

mse.backward()表示向后传播，PyTorch会自动记录下图的路径，因此在最后的loss节点上调用backward时，会完成这条路径上所有的需要梯度grad的计算，这个计算后的grad不会直接返回，而是会自动把grad信息附加在每个tensor的成员变量.grad上，因为这个只有一个w参数，因此只有一个w.grad，

常见的分类中的损失函数，既可以用于二分类，也可以用多分类，一般跟softmax激活函数搭配一起使用。

对于一个输出y，如果需要转为概率值，希望概率最大的值作为预测的label，如上图，2.0最大，其对应的索引是0，因此0就是一个label。但是我们的概率是属于一个区间，如果要把这个值转为概率值，需要人为进行压缩，可以使用sigmoid函数来完成，但是对于多分类来说，一个物体到底属于哪个类，有概率的大小之分，而这些概率之和为1。因此使用sigmoid并不是十分准确。 对于softmax的属性是：每一个值的大小范围是(0,1)，所有概率之和为1。 S ( y i ) = e y i ∑ j e y j S(y_i) = \frac{e^{y_i}}{\sum_je^{y_j}} S(yi​)=∑j​eyj​eyi​​ 对于上面的例子： e 2 e 2 + e 1 + e 0.1 + e 1 e 2 + e 1 + e 0.1 + e 0.1 e 2 + e 1 + e 0.1 = 1 \frac{e^2}{e^2+e^1+e0.1}+\frac{e^1}{e^2+e^1+e0.1}+\frac{e^{0.1}}{e^2+e^1+e0.1} = 1 e2+e1+e0.1e2​+e2+e1+e0.1e1​+e2+e1+e0.1e0.1​=1 之前的标签2和1的差距只有2倍，而经过softmax操作之后，0.7和0.2的差距却放大了。因此softmax会将原来的差距拉大。

p i = e a i ∑ k = 1 N e a k ∂ p i ∂ a j = { p i ( 1 − p j ) if i = j − p j ⋅ p i , if i ≠ j p_i = \frac{e^{a_i}}{\sum_{k=1}^Ne^{a_k}} \\ \frac{\partial p_i}{\partial a_j} = \begin{cases} p_i(1-p_j) & \text {if i = j} \\ -p_j·p_i, & \text{if i}\ne j \end{cases} pi​=∑k=1N​eak​eai​​∂aj​∂pi​​={pi​(1−pj​)−pj​⋅pi​,​if i = jif i​=j​ 可以根据公式看出当i=j时，梯度是大于0的，其他情况下是小于0的。

∂ p 0 ∂ a i = [ 0.1860 , − 0.0947 , − 0.0914 ] \frac{\partial p_0}{\partial a_i}=[ 0.1860, -0.0947, -0.0914] ∂ai​∂p0​​=[0.1860,−0.0947,−0.0914]，其中 ∂ p 0 ∂ a 0 = [ 0.1860 ] ， ∂ p 0 ∂ a 1 = [ − 0.0947 ] ， ∂ p 0 ∂ a 2 = [ − 0.0914 ] \frac{\partial p_0}{\partial a_0}=[ 0.1860]，\frac{\partial p_0}{\partial a_1}=[ -0.0947]，\frac{\partial p_0}{\partial a_2}=[ -0.0914] ∂a0​∂p0​​=[0.1860]，∂a1​∂p0​​=[−0.0947]，∂a2​∂p0​​=[−0.0914]可以看出当j=i时，梯度信息是正的。